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Procede de restitution d*un flux de donnees multimedia sur un 
terminal client, dispositif, systeme et signal correspondants. 

Le domaine de T invention est celui de la restitution sur un terminal client 
d*un flux multimedia, representatif par exemple d'une scene graphique animee en 
deux ou trois dimensions, d'un signal audio ou video, etc. Plus precisement, 
r invention conceme une technique de decodage d*un tel flux, en vue de sa 
restitution sur le terminal. 

De tels flux multimedia sont generalement agences sous forme d'une 
succession d'unites autonomes codees referencees par une estampille temporelle 
unique, qui a pour vocation de renseigner le terminal recepteur sur I'instant auquel 
doivent avoir lieu Tinterpretation et la restitution du signal re9u. Par interpretation 
d*une unite autonome, on entend generalement le calcul de la structure a restituer a 
partir, d'une part, d'informations contenues dans cette unite autonome, et, d' autre 
part, d'informations detenues par le dispositif de restitution. Par restitution, on 
entend classiquement Taffichage, la presentation visuelle, sonore ou sensitive a 
Vutilisateur. La restitution du signal multimedia par le terminal necessite par 
ailleurs le decodage des unites autonomes, revues depuis un serveur ou un 
terminal emetteur sous forme codec. 

La partie Systemes du standard MPEG-4 (en anglais "Moving Picture 
Coding Experts Group", en fran^ais "Groupe d'experts pour le codage damages 
animees") (ISO~lEC/14496-l) definit un modele de decodage, base sur 
Testampillage temporelle des trames encodees. La chaine de decodage et de 
restitution mise en oeuvre selon ce standard est illustree en figure 1 ; elle presente 
succinctement le fonctionnement des modules logiciels d*un outil de visualisation 
ou de rendu, mis en oeuvre pour decoder le flux multimedia, puis composer le 
signal ainsi decode. 

A la reception, les differents flux multimedia sont stockes dans une 
memoire tampon de decodage 1, et les differentes entites encodees (encore 
appelees EE) qui les constituent alimentent un decodeur 2, qui delivre des entites 
decodees (encore appelees ED). Ces entites decodees sont stockees dans une 
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memoire de composition 3, puis restituees sur le terminal client par le module en 
charge de la composition, encore appele compositeur 4. 

Le traitement mis en oeuvre par le terminal client sur reception d'un flux 
multimedia comprend done essentiellement deux phases, une premiere phase de 
5 decodage des entites encodees EE et une deuxieme phase de composition des 
entites decodees ED. 

L'estampille temporelle associ^e a chacune des entites autonomes du flux, 
appelee Estampille Temporelle de Composition dans le standard MPEG-4 et 
Estampille Temporelle de Presentation au sein du standard MPEG-2, et que nous 
10 appellerons plus general ement estampille de composition, ou ETC, dans la suite 
du document, indique Tinstant auquel les donnees du flux doivent etre restituees 
(sous forme visuelle, sonore, etc.) par le terminal a Tutilisateur. 

Dans la plupart des techniques connues, le decodage et la composition des 
trames sont mis en oeuvre a I'instant indique par TETC, de sorte qu'il est 
15 artificiellement considere que le temps de decodage des EE est nul. Or, pour les 
flux complexes notamment, le temps de decodage n'est pas toujours n6gligeable, 
et Tentite decodee ED n'est pas toujours disponible suffisamment tot pour que le 
compositeur 4 la restitue a I'instant defini par son ETC. Le processus de rendu s*en 
trouve done retarde. 

20 En effet, lorsque les flux multimedia consideres sont des flux complexes, 

ou particulierement volumineux, leur decodage peut s'averer lourd, et 
particulierement long a implementer. 

On assiste ainsi a une desynchronisation de la restitution des differentes 
trames, entrainant par exemple une visualisation hachee de la scene graphique 

25 dans le cas de flux video. Lorsque differentes chaines de decodage sont utilisees 
en parallele, pour assurer par exemple le rendu simultane d'un signal representatif 
d'une scene graphique animee, et d'un signal audio, le retard au decodage de la 
scene graphique peut provoquer une desynchronisation du son et de I'image. 

Ceci n'est bien sxir pas acceptable, et peut s'averer particulierement 

30 desagreable pour Tutilisateur. 
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Selon certaines techniques particuJieres, une estampille temporelle 
specifique, appelee estampille temporelle de decodage, ou ETD, est parfpis 
associee aux entites du flux, pour indiquer a quel instant le decodeur 2 doit 
decompresser la trame encodee EE ou pour indiquer que Tordre de decodage des 
5 EE est different de I'ordre de composition indique par celui des ETC croissants. 

Mais, a nouveau, cette technique est peu adaptee au traitement des flux 
complexes, pour lesquels la phase d'interpr^tation est longue et couteuse, et 
retarde done Tinstant de restitution de la trame par rapport a TETC, ce qui entrame 
une desynchronisation de la restitution des differentes trames. 

10 Pour accroitre la fluidite de la restitution, et utiliser au mieux les 

ressources des outils de visualisation, ou plus generalement de rendu, il a ete 
envisage, selon certaines des techniques connues, et notamment pour la restitution 
des flux de description de scenes tels que MPEG-4/BIFS ou des nouveaux flux.: 
video comme MPEG-4 Visual (ISO-IEC/14496-2) ou H26L (ISO-IEC/14496-10), . 

15 de decorreler temporellement la phase de decodage de la phase de restitution du 

,^ signal. Le decodage fonctionne alors en mode asynchrone par rapport au rendu du.. 
signal, afin de profiter au maximum des ressources de calcul et memoire., 
disponibles sur le terminal. Le processus de composition doit quant a lui 
fonctionner en mode synchrone par rapport au rendu du signal, et, de sa rapidite 

20 d'execution, depend la fluidite de restitution du signal. 

Cependant, meme si les techniques de decodage et de restitution les plus 
avancees tentent d'utiliser cette approche au maximum afin de rendre la restitution 
la plus fluide possible, elles restent cantonnees aux traitements de flux standards 
et s'averent peu efficaces avec Tavenement de flux plus complexes. 

25 Les inventeurs de la presente demande de brevet ont analyse ces 

differentes techniques connues, et ont identifie le probleme suivant : afin de 
simplifier au maximum Timplantation de decodeurs audio ou video, ces 
differentes techniques considerent generalement que les procedures de decodage 
et de composition sont relativement independantes et que Tentite decodee ED se 

30 suffit a elle-meme pour sa composition, Le compositeur 4 depend alors fortement 
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du systeme operationnel sur lequel est implante Toutil de rendu (ou "player") et 
peu de la specificite du codage. 

Selon les inventeurs de la presente demande de brevet, cette approche n'est 
cependant plus suffisante lorsque Ton traite des flux complexes, comme les flux 
5 de description de scene BIFS (ce format est notamment presente dans "the MPEG- 
4 Systems Verification Model", ISO/IEC JTC1/SC29AVG 11-N1693, MPEG 97, 
avril 1997), de meta-donnees MPEG-7 ou les nouveaux types de flux video 
comme H26L (ISO-IEC/14496-10). 

L'invention a notamment pour objectif de pallier les differents 
10 inconvenients de I'art anterieur mentionnes precedemment, a la lumiere 
notamment du probleme identifie par les inventeurs. 

Plus precisement, un objectif de Tinvention est de foumir une technique de 
restitution d'un flux ou d'une pluralite de flux multimedia qui assure un rendu 
fluide, quelle que soit la complexity du ou des flux considere(s). 
15 Un autre objectif de Tinvention est de mettre en oeuvre une telle technique 

de restitution, reposant sur un decodage optimise des signaux re9us. 

L'invention a egalement pour objectif de foumir une telle technique de 
restitution qui permette d'utiliser au mieux les ressources de memoire et de calcul 
des terminaux de restitution. 
20 L' invention a encore pour objectif de mettre en oeuvre une telle technique 

de restitution qui soit compatible avec les techniques de decodage de Tart 
anterieur. 

Encore un objectif de Tinvention est de proposer une telle technique de 
restitution qui n^induise pas un surcout important en termes de ressources, et 
25 notamment de ressources memoire, par rapport aux techniques de restitution de 
Tart anterieur, 

Ces objectifs, ainsi que d'axitres qui apparaitront par la suite, sont atteints a 
Taide d'un procede de restitution, sUr au moins un terminal client, d'au moins un 
flux de donnees comprenant une pluralite d'entites encodees, associees chacune a 
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au moins une estampille temporelle de composition, ledit procede comprenant des 

etapes de : 

decodage dudit ou desdits flux, de fa9on a obtenir au moins un flux decode 
comprenant une pluralite d'entites decodees ; 
5 - composition desdites entites decodees, aux instants definis par lesdites 
estampilles temporelles de composition. 

Selon rinvention, pour Tune au moins desdites entites encodees, ladite 
etape de decodage est anticipee par rapport a ladite estampille temporelle de 
composition, si un contexte de composition associe a ladite entite encodee verifie 
1 0 au moins un critere predetermine. 

Ainsi, rinvention repose sur une approche tout a fait nouvelle et inventive 
de la restitution de flux multimedia, qui est particulierement bien adaptee au 
traitement de flux complexes, tels que les flux de description de scenes tels que 
MPEG-4/BIFS ou les nouveaux flux video comme MPEG-4 Visual (ISO- 
15 IEC/14496-2) ou H26L (ISO-IEC/14496-10), 

En effet, rinvention propose d'anticiper le decodage des signaux repus, par 
rapport a leur estampille temporelle de composition, en tenant compte du contexte 
de composition, ce qui n'avait jamais ete envisage selon les techniques de Tart 
anterieur. 

20 Par decodage, on entend done ici la phase de decodage proprement dite, 

mais egalement eventuellement une phase de pre-interpretation, permettant le 
calcul au moins partiel de la structure a restituer associee a Tentite decodee. 

De cette fa<?on, pour toutes les entites decodees par anticipation, on 
garantit une restitution fluide a I'instant indique par Testampille de composition, et 

25 on reduit ainsi fortement les risques de desjmchronisation des differentes trames a 
restituer. En outre, Tinvention permet d'optimiser les ressources de decodage des 
dispositifs de restitution : en effet, elle permet d'utiliser de fapon optimale les 
ressources de calcul des plate-formes "multi-threadees" (c*est-a-dire des plate- 
formes permettant le lancement de plusieurs taches logicielles en parallele), ce qui 

30 est essentiel dans le cas du traitement de signaux graphiques pour lesquels on doit 
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repondre a des contraintes de fluidite. L'invention permet done d'optimiser le 
decodage, puisque le dispositif de restitution, parallelement a I'interpretation et a 
la restitution des entites decodees, anticipe le decodage des entites encodees deja 
re9ues. 

5 L'anticipation du decodage proposee par rinvention etant dependante du 

contexte de composition de Tentite encodee consideree, on resout le problenie 
identifie par les inventeurs de la presente demande relatif au postulat 
d'independance des phases de decodage et de composition des flux multimedia, 
jusqu^a ce jour considere comme imperatif dans les techniques de; rendu des 
10 signaux de description de scene BIFS, de meta-donnees MPEG-7 ou des 
nouveaux types de flux video comme H26L (ISO-IEC/1 4496-10) par exemple, 

Avantageusement, im tel precede de restitution met en oeuvre une etape de 
comparaison d'un contexte de composition courant et dudit contexte de 
composition associe a ladite entite encodee, et ladite etape de decodage est 
1 5 anticipee lorsque ladite comparaison est positive. 

Ainsi, Tetape de decodage est anticipee lorsque le contexte de composition 
courant est identique au contexte de composition associe a Tentite encodee 
consideree. Eri effet, une comparaison positive indique que le resultat du 
decodage anticipe de Tentite encodee pourra etre utilise lors de la phase de 
20 composition, sous reserve d'une eventuelle modification du contexte de 
composition courant avant la mise en oeuvre de cette phase, 

De maniere avantageuse, lesdites entites decodees par anticipation sont 
memorisees par ledit terminal client jusqu'a ladite etape de composition. 

Preferentiellement, en cas de comparaison negative, ladite entite encodee 
25 est memorisee dans ledit terminal client, et ladite etape de decodage est mise en 
oeuvre audit instant defini par ladite estampille temporelle de composition 
associee. 

Ainsi, si le contexte de composition courant differe du contexte de 
composition associe a Tentite encodee, on n'anticipe pas son decodage, qui est 
30 classiquement effectue lors de la phase de composition de cette entite. 
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De maniere preferentielle, pour au moins certaines desdites entites 
decodees par anticipation, on reitere ladite etape de comparaison, prealablement a 
ladite etape de composition, et ladite etape de composition est mise en oeuvre 
lorsque ladite deuxieme comparaison est positive. 
5 On verifie ainsi que le contexte de composition courant n'a pas change 

depuis le decodage anticipe de I'entite encodee, et que le resultat de ce decodage 
anticipe peut etre utilise lors de Tetape de composition. L'etape de composition 
n'est mise en oeuvre, pour Tentite decodee par anticipation, que si le contexte de 
composition courant est encore identique au contexte de composition associe a 
10 I'entite considered 

Preferentiellement, lorsque ladite deuxieme comparaison est negative, ledit 
procede met en oeuvre une etape de gestion d'erreurs. - 

En effet, une comparaison negative indique que le contexte de composition ^ 
courant a change depuis le decodage anticipe de Tentite encodee, et que la 
1 5 composition de I'entite, decodee par anticipation, est impossible compte tenu de ce 
contexte courant. La gestion d'erreurs mise en oeuwe dans ce cas est de type 
classique, et ne sera done pas decrite plus en detail dans ce document. 

Avantageusement, une inforination d'ordre de decodage est en outre 
associee a au moins certaines desdites entites encodees. 
20 II se peut en effet que Tordre de decodage des entites encodees differe de 

leur ordre de composition : c'est le cas notamment lorsque certaines entites 
encodees volumineuses ou complexes necessitent un temps de decodage plus 
important. Elles sont alors decodees prealablement aux entites encodees mois 
complexes, de fafon a garantir leur disponibilite sous forme decodee a I'instant 
25 indique par Festampille temporelle de composition. 

Dans un mode de realisation prefere de Tinvention, ladite information 
d'ordre de decodage est une estampille temporelle de decodage. 

De maniere preferentielle, ledit flux de donnees appartient au groupe 
comprenant : 
30 7 les flux video ; 
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les tlux de description d*une scene graphique a au moins deux 
dimensions ; 
les flux audio ; 

les flux de description d'un objet a au moins deux dimensions ; 
les flux d'animation d'au moins un objet ; 
les flux de description de meta-donnees, 
Preferentiellement, le format desdites entites encodees appartient au 
groupe comprenant : 

les formats de media MPEG ; 
les formats de description de donnees MPEG-7 ; 
les formats de description de scene BDFS ; 
les formats H26L, 

L'invention conceme aussi un dispositif de restitution d*au moins un flux 
de donnees comprenant une pluralite d'entites encodees, associees chacune k au 
moins ime estampille temporelle de composition, ledit dispositif comprenant : 

des moyens de decodage dudit ou desdits flux, permettant d'obtenir au 
moins un flux decode comprenant une pluralite d'entites decodees ; 
des moyens de composition desdites entites decodees, mis en oeuvre 
aux instants definis par lesdites estampilles temporelles de 
composition. 

Selon Tinvention, pour Tune au moins desdites entites encodees, lesdits 
moyens de decodage sont actives prealablement a ladite estampille temporelle de 
composition, si un contexte de composition associe a ladite entite encodee verifie 
au moins un critere predetermine. 

Avantageusement, un tel dispositif comprend en outre : 

une memoire tampon de decodage, dans laquelle lesdites entites 
encodees sont stockees en ordre croissant de decodage ; 
une memoire tampon de composition, dans laquelle sont memorisees 
lesdites entites decodees. 
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Selon une premiere variante de realisation avantageuse de Tinvention, 
lesdites entites decodees sont memorisees dans ladite memoire tampon 'de 
composition en ordre croissant d'estampille temporelle de composition. 

Lors de Tetape de composition, les entites decodees sont done traitees dans 
5 Tordre dans lequel elles sont rangees dans la memoire tampon de composition, et 
ce sont les moyens de decodage qui assnrent le tri des entites decodees en fonction 
de leur estampille temporelle de composition, de fa^on a les ordonner dans la 
memoire tampon de composition. 

Selon une deuxieme variante de realisation avantageuse de Tinvention, 
10 lesdites entites decodees sont memorisees dans ladite memoire tampon de 
composition en ordre croissant de decodage. 

Ainsi, les moyens de decodage agencent les entites dans la memoire 
tampon de composition dans Vordre dans lequel elles ont ete decodees, et ce sont 
. les moyens de composition qui effectuent un tri des entites decodees, au sein de la 
1 5 memoire tampon de composition, de fafon k les traiter dans I'ordre croissant de 
leur estampille temporelle de composition. r 
L'invention conceme encore un systeme de transmission d'au moins un 
flux de donnees d^un serveur de donnees vers au moins un terminal client, 
ledit serveur comprenant des moyens de codage dudit flux de donnees, sous la 
20 forme d'une pluralite d'entites encodees, associees chacune a au moins une 
estampille temporelle de composition, 
ledit terminal client comprenant : 

- des moyens de decodage dudit ou desdits flux, permettant d'obtenir au 
moins un flux decode comprenant une pluralite d'entites decodees ; 
25 - des moyens de composition desdites entites decodees, mis en oeuvre aux 

instants definis par lesdites estampilles temporelles de composition. 
Selon rinvention, pour Tune au moins desdites entites encodees, lesdits 
moyens de decodage sont actives prealablement a ladite estampille temporelle de 
composition, si un contexte de composition associe a ladite entite encodee verifie 
30 au moins un critere predetermine. 
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L'invention concerne aussi un signal representatif d'un flux de donnees 
destine a etre restitue par au moins un dispositif de restitution teJ que decrit 
precedemment, ledit signal etant disponible en sortie desdits moyens de decodage 
et alimentant lesdits moyens de composition dudit dispositif 

Selon Tinvention, un tel signal comprend une pluralite d'entites dudit flux, 
comprenant chacune : 

une estampille temporelle de composition ; 

un marqueur isdecod, indiquant si ladite entite a ete decodee de 
maniere anticipee ; 

et, lorsque ledit marqueur isdecod prend une premiere valeur, ladite entite est sous 
forme encodee et, lorsque ledit marqueur isdecod prend une seconde valeur, ladite 
entite est sous forme decodee et comprend en outre : 

des informations, appelees presStruct, relatives a une structure de 

restitution de ladite entite ; 

des informations, appelees decodlnfo, relatives au decodage de ladite 
entite. 

D'autres caracteristiques et avantages de T invention apparaitront plus 
clairement a la lecture de la description suivante d'un mode de realisation 
preferentiel, donne a titre de simple exemple illustratif et non limitatif, et des 
dessins annexes, parmi lesquels : 

la figure 1, deja presentee precedemment, presente un synoptique d'une 

chaine de traitement d'un flux multimedia dans un terminal de restitution ; 

la figure 2 illustre sous forme schematique les differentes phases de 

traitement mises en oeuvre selon Finvention ; 

la figure 3 presente un synoptique d'un dispositif de restitution mettant en 
oeuvre une anticipation du decodage selon invention ; 
la figure 4 detaille le processus de decodage implemente par le dispositif 
de la figure 3 ; 

la figure 5 decrit le processus de composition implemente selon I'invention 
par le dispositif de la figure 3. 
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Le principe general de Tinvention repose sur TaTiticipation du decodage de 
certaines entites encodees du flux multimedia, en fonction du contexte.de 
composition qui leur est associe. 

On presente, en relation avec la figure 2, un niode de realisation des 
5 differentes phases de traitement de Tinvention. 

Comme mentiomie precedemment, une entite encodee EE 10 est re$ue par 
un terminal de visualisation ou plus generalement de rendu, qui doit lui faire subir 
des phases successives de decodage 5, d'interpretation 6, de restitution 7, de faQon 
a permettre son affichage 12 a Tecran, dans le cas ou cette EE 10 est issue d'un 
10 flux video. 

Un premier processus reference 8 comprend les phases de decodage 5 et 
une phase de pre-interpretation 6, qui permet, a partir de TEE 10, de produire une 
entite decodee correspondante 11, memorisee par le terminal de visualisation 
jusqu*a sa restitution 12: Ce premier processus 8 a pour objectif de generer une 
15 entite, associee a une estampille temporelle de composition ETC, qui soit facile a 
analyser syntaxiquement, et qui contienne Tensemblfe des informations necessaires 
au compositeur 4 pour restituer le signal a Tinstant t=ETC : cette entite est ici 
appelee entite decodee ED 11. 

Un second processus reference 9 comprend une phase de post- 
20 interpretation de Tentite decodee ED 11 et la phase de restitution 7 elle-meme, Ce 
second processus 9 a pour objectif de restituer Tentite decodee 1 1 le plus 
rapidement possible, de fa9on a respecter les contraintes temporelles de restitution 
imposees par I'ETC de la trame. 

Selon rinvention, le premier processus reference 8 est avantageusement 
25 desynchronise par rapport au second processus 9, de fa^on a permettre une 
anticipation du decodage par rapport a I'ETC de la trame, et garantir ainsi une 
restitution rapide et fluide du signal a Tutilisateur. 

Deux variantes de realisation de Tinvention peuvent notamment etre 
envisagees, et seront done etudiees successivement dans la suite du document. 



1 er depot ' 
12 



Selon une premiere variante de realisation, I'ordre de decodage des entites 
encodees 10 est identique a Tordre de composition des entites decodees 11, 
indique par I'estampille temporelle de composition ETC, 

Selon une seconde variante de realisation, Tordre de decodage des entites 
encodees EE 10 differe de Tordre indiqu6 par les ETC, par exemple si certaines 
entites plus complexes necessitent un temps de decodage plus lotig, et doivent 
done de ce fait etre decodees en priorite. Selon cette seconde variante, une 
information indiquant Tordre de decodage doit etre associee aux entites encodees 
EE 10, par exemple sous la forme d'une estampille temporelle de decodage ETD. 

On presente tout d'abord, en relation avec les figures 3 a 5, la premiere 
variante de realisation dans laquelle Tordre de decodage et Tordre de composition 
sont identiques. 

Le dispositif de Tinvention represente en figure 3 comprend alors deux 
decodeurs du signal 30, 31, mis en oeuvre respectivement par chacun des 
processus references 8 et 9 de la figure 2. 

Comme indique precedemment, le premier processus reference 8 
fonctionne independamment, et en mode asynchrone, par rapport au second 
processus reference 9, Ce dernier effectue la restitution 7 du signal re^u par le 
dispositif, et opere done en mode synchrone par rapport au temps du signal. 

Les deux processus references 8 et 9 utilisent une meme memoire tampon 
referencee 32, qui contient Tensemble des entites decodees ED 1 L Dans la suite, 
on appellera cette memoire tampon 32, memoire tampon de composition. Les 
entites decodees sont stockees dans la memoire tampon de composition dans 
Tordre croissant de leur estampille temporelle de composition ETC, qui 
correspond egalement a leur ordre de decodage par le decodeur 30. 

Les entites encodees EE 10 sont quant a elles re9ues de la source emettrice 
du signal encode (par exemple un serveur de flux audio ou video), et sont stockees 
dans Pordre croissant de leur ETC dans une memoire tampon referencee 33, 
appelee memoire tampon de decodage. 
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Comme represente schematiquement dans la memoire tampon de decodage 
33 de la figure 3, chaque entite encodee EE 10 est associee a une estampijle 
temporelle de composition ETC, et eventuellement, dans la seconde variante de 
realisation qui sera etudiee ulterieurement dans ce document, a une estampille 
5 temporelle de decodage ETD. 

Chaque entite decodee ED 1 1 stockee dans la memoire tampon de 
composition 32 est quant a elle associee aiix informations suivantes : 

une estampille temporelle de composition ETC indiquant au 
dispositif de la figure 3 Tinstant auquel cette entite ED 1 1 doit etre 
1 0 restituee 12a I'utilisateur ; 

des informations, appelees decodlnfo, qui ne sont pas contenues 
dans TEE 10, mais qui ont ete necessaires lors de son decodage, permettant 
la creation de Tentite decodee ED 11; ; 

un marqueur, note isDecod, indiquant si un decodage anticipe de 
15 Tentite encodee EE 10 par le. decodeur 30 a ete realise lors du premier 

processus reference 8 ; . 

une structure, notee presStruct^ qui sera iitilisee par le second 
processus reference 9 pour restituer Tentite decodee ED 1 1 , si un decodage 
anticipe, indique par isDecod=l, a ete possible lors du premier processus 
20 reference 8. On notera que cette structure pr^^S'^rwc^ depend, d'une part, de 

decodlnfo et d'autre part, d'informations contenues dans I'entite encodee 
EE 10, selon une fonction de dependance calculee par le decodeur 30. 
Enfin, dans le cas ou Tanticipation du decodage par le premier processus 
reference 8 n'a pas ete possible, c*est-a-dire si isDecod-Q, la memoire tampon de 
25 composition 32 contient Tentite sous forme encodee EE 10. 

On presente desormais plus en details, en relation avec la figure 4, le 
principe de fonctionnement du premier processus reference 8, destine a anticiper 
le decodage des entit6s encodees EE 10 deja repues. 

Selon ce premier processus 8, la memoire tampon de decodage 33, 
30 contenant la liste des entites encodees EE 10 est scrutee. Une premiere entite 



1 er depot 
14 



encodee EE(i) est lue 40, et les donnees de decodage correspondantes, decodlnfo, 
sont recuperees aupres du contexte de composition 44. Ce contexte de 
composition 44 correspond aux valeurs courantes du signal a representer : par 
example, dans le cas d'une visualisation de scene graphique, ce contexte de 
5 composition correspond aux differents objets presents dans la scene a Tinstant 
courant, et a I'arbre hierarchique representatif de leur agencement 

Au cours d'une etape referencee 45, le contexte de composition associe a 
Tentit^ EE(i) est compare au contexte de composition courant, de fa9on a 
determiner si im decodage anticipe de EE(i) par le decodeur 30 est possible. 

10 En prenant un exemple simple de restitution d'un flux de description de 

scene, comprenant une voiture, le decodage de la trame EE(i) correspondant au 
volant a Tinterieur de cette voiture, ne pourra etre anticipe selon I'invention que si, 
a rinstant courant du decodage, le contexte de composition correspondant a la 
voiture est represente a I'ecran. 

15 Si le contexte de composition courant differe du contexte de composition 

associe a EE(i), le decodage anticipe par le decodeur 30 est impossible, 
isDecod=0^ et Tentite encodee EE(i) est stockee 46 dans la memoire tampon de 
composition 32. 

On passe alors 47 a Tentite encodee EE(i+l) suivante dans la liste 33. 
20 Dans le cas contraire, si le contexte de composition courant coincide avec 

le contexte de composition associe a EE(i), et autorise de ce fait un decodage 
anticipe, EE(i) est decompressee 42, puis stockee 43 sous forme decodee ED(i), 
associee a la valeur isDecod=l, dans la memoire tampon de composition 32. 
On passe alors 48 a Tentite encodee suivante EE(i+l) dans la liste 33, 
25 Lorsqu'on arrive en fin de liste, la lecture 40 recommence 

systematiquement en debut 49 de la liste 33 des EE. 

Ainsi, pour toutes les EE povir lesquelles un decodage anticipe est possible, 
ce premier processus reference 8 genere les donnees isDecod, presStruct^ et 
remplit la memoire tampon de composition 32 avec les entites decodees ED 1 1 
30 obtenues. Ce processus reference 8 travaille en mode asynchrone, et on lui 
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attribue, au sein du dispositif de restitution de la figure 3, une priorite faible, de 
fagon a ne pas utiliser les ressources de calcul necessaires au dispositif pour 
assurer une restitution fluide du signal par le second processus reference 9. 

En effet, la definition des estampilles ETC impose au dispositif de 
5 restitution de garantir, a Tinstant T, la restitution par le second processus 9, de 
toutes les entites decodees ED dont Testanipille temporelle de composition ETC 
est inferieure a T. Le second processus 9 doit done disposer de ressources de 
calcul suffisantes pour permettre de restituer les entites decodees ED contenues 
dans la memoire tampon de composition 32 aussi rapidement que possible. 
10 On presente desormais, en relation avec la figure 5, le mode de 

fonctionnement du second processus de restitution 9. 

La memoire tampon de composition 32 est parcourue de fafon a lire (50), 
successivement les differentes entites decodees ED(i) qu'elle contient. Au cours> 
d'une premiere etape referencee 51, on analyse la valeur du marqueur isDecod^ 
15 pour determiner si un decodage anticipe a ete realise par le decodeur 30 du 
premier processus reference 8- \ 

*Si isDecod—\^ on met en oeuvre une comparaison 53 des informations 
decodlnfo, stockees dans la memoire tampon de composition 32 en relation avec 
Tentite decodee ED(i), avec le contexte de composition courant 44. 
20 La maniere dont on recupere les informations de contexte de composition 

courant, selon ce second processus 9, depend des differentes implantations 
possibles du dispositif, et correspond a des techniques classiques, bien connues de 
THomme du Metier, qui ne seront done pas detaillees plus avant dans le cadre de 
la presente invention. 

25 Si decodlnfo differe (54) du contexte de composition courant, il est 

necessaire de reiterer le decodage 56 de rEE{i), en fonction du contexte de 
composition courant. 

Si en revanche decodlnfo coincide (55) avec le contexte de composition 
courant, la stmo^taxQ presStruct est done valide, et Tentite decodee ED(i) peut etre 

30 restituee a Tinstant indique par son estampille temporelle de composition ETC. La 
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struciUTO presStructii) est interpretee 57, et ED(i) est restituee 58, avant que le 
processus 9 ne passe a TEd suivante 59 de la memoire tampon de composition 32. 

*Si isDecod=0, 1'anticipation du decodage de Tentite consideree n'a pas ete 
possible, il faut done proceder au decodage 52 de Tentite encodee EE(i). Si ce 
5 decodage est possible, en raison d'une conformite entre le contexte de composition 
coijrant et le contexte de composition associe a TEE consideree, on procede alors k 
Tinterpretation 57 de la structure presStruct correspondante, et a la restitution 58 
de Tentite. Si le decodage n'est pas possible, parce que le contexte de composition 
courant differe du contexte de composition associe a TEE consideree, on met en 

10 oeuvre une procedure classique de gestion des erreurs 60, Dans Texemple 
precedent d'un flux de description de scene representatif d'une voiture, le 
decodage de Tentite representative du volant est impossible si la voiture ne fait 
plus partie du contexte de scene, en raison par exemple d*une intervention de 
Tutilisateur qui Ta supprimee de la scene visualisee. 

15 Selon ce second processus 9, on supprime ensuite Tentite decodee ED 1 1 

de la memoire tampon de composition 32, car, apres restitution, cette entite est 
desormais obsolete. 

On presente desormais rapidement la seconde variante de realisation de 
Tinvention, dans le cas ou Tordre de decodage des entites encodees EE 10 differe 

20 de Tordre de composition indique par les estampilles temporelles de composition 
ETC qui leur sont associees. 

L'ordre dans lequel les EE sont rangees dans la memoire tampon de 
decodage 33 differe done de Tordre de restitution des entites decodees ED. Le 
premier processus reference 8, presente precedemment en relation avec la figure 

25 4, fonctionne alors dans Tordre de stockage des entites dans la memoire tampon de 
decodage 33. Ainsi, si cet ordre de decodage est indique par une estampille 
temporelle de decodage ETD associee a chacune des entites du flux, les indices i 
affectes aux entites EE(i) dans la figure 4 correspondent aux ETD croissants. 

En revanche, la restitution des entites par le second processus reference 9 

30 necessite la mise en oeuvre des etapes prealables suivantes : 
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on identifie, au sein de la memoire tampon de composition 32, 
Tentite presentant la plus petite estampille ETC ; 

d'es que Tinstant T est superieur a la plus petite estampille 
temporelle de composition ETC^jn identifiee, on procede a la restitution de 
5 la structure presStruct de Tentite decodee ED associee a cette estampille 

ETC^in, et on supprime I'entite decodee Ed correspondante de la memoire 
tampon de composition 32. 

On notera que, selon une premiere sous-variante de realisation, les entites 
decodees ED sont rangees dans la memoire tampon de composition dans Tordre de 
10 decodage, et c'est alors la fonction de restitution du second processus 9 qui a pour 
role de selectionner Tentite ED presentant la plus petite estampille ETC^jn. 

Selon une autre sous-variante de realisation, les entites ED sont stockee^s 
dans la memoire tampon de composition 32 dans Tordre des estampilles ETG* 
. croissantes. La fonction de restitution du second processus 9 reste alors identique 
15 a celle qui a ete presentee prec6demment en relation avec la figure 5 ; en 
revanche, la fonction de decodage du second processus 9 doit parcourir la 
memoire tampon de composition 32 dans Tordre de decodage indique par les 
estampilles temporelles de decodage ETD croissantes. 

On met alors en ceuvre les etapes successives suivantes : 
20 - on identifie, au sein de la memoire tampon de composition 32, 

Tentite de valeur isDecod==0 presentant la plus petite estampille temporelle 
de decodage ETD^j^ ; 

on decode ensuite Tentite encodee EE correspondant a cette 
estampille ETDj„in identifiee ; 
25 - on decode les entites encodees EE successivement, dans Tordre des 

estampilles temporelles de decodage ETD, jusqu'a ce que toutes les entites 
presentent une valeur isDecod=\ . 

Le temps passe par le second processus 9 au decodage des entites encodees 
EE est ainsi fortement reduit, car le maximum d'entites encodees EE possible a 
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deja ete decode par le decodeur 30 du premier processus 8, ce qui permet d'assurer 
une excellente fluidite de restitution du signal. 

On presente desormais succinctement des exemples d'informations 
decodlnfo et presStruct qui peuvent etre utilisees dans le cadre de la presente 
5 invention, dans le cas de decodage de flux MPEG-4/BIFS- 

Dans le cas du decodage de flux de type BIFS, Testampille temporelle de 
decodage ETD est egale a Testampille temporelle de composition ETC pour 
toutes les Entites Encodees EE ; on se trouve done dans la premiere variante de 
realisation de Tinvention decrite precedemment, selon laquelle Tordre de 
10 decodage est celui de restitution. 

Le mode de realisation de Tinvention peut etre precise en indiquant, dans 
ce cas, les valeurs de decodlnfo et de presStruct et en precisant comment 
decodlnfo est obtenue. 

Suivant la nature de TEntite Encodee, on obtiendra des valeurs differentes : 
15 • Si TEntite Encodee est une commande BIFS d'insertion de noeud (telle que 
defmie dans la section 9.3.6.5 ISO/IEC 14496-1 :2000(E)), alors : 

• decodlnfo est la valeur de Tidentification du n(£ud et de la table de 
decodage correspondant a ce noeud, c'est-a-dire {nodelD, 
GetNDTFromlD(nodelD)) ; 

20 • presStruct est un objet facilement interpretable qui decrit la commande 

telle qu'elle est definie dans la structure decrite dans la section 9.3.6.5.1 de 
la norme MPEG-4/System. 
• Si TEE est une commande IndexedValuelnsertion, alors : 

• decodlnfo est la valeur de Tidentification du nceud, celle de T identification 
25 du champ du noeud, la valeur du nceud et la valeur du champ correspondant 

a ce nceud, c'est-a-dire {nodelD, inID, 
node=GetNodeFromID(nodelD),field= node,field[nodeJn2all[inID]]} ; 

• presStruct est un objet facilement interpretable qui decrit la commande 
telle qu'elle est definie dans la structure decrite dans la section 9.3.6.6.1 de 

30 la norme MPEG-'4/System. 
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• Si TEE est une commande IndexedValueDeletion, alors : 

• decodlnfo est (nodelD , inlD, node=GetNodeFromID(nodelD),field= 
node.field[node.in2all[inID]] } ; 

• presStruct est un objet facilement interpretable qui decrit la commande 
5 telle qu'elle est definie dans la structure et est une simple indication de 

destraction d'une valeur a la position deletionPosition obtenue lors du 
decodage de TEE. 

• Si TEE est une commande FieldReplacement (decrite dans la section 9.3.6,14 
de la norme), alors : 

10 • decodlnfo est { nodelD , inID, node=GetNodeFromID(nodeID),field= 

node.field[node.in2all[inID]] } ; 

• presStruct est un objet facilement interpretable qui decrit la commande 
telle qu'elle est definie dans la structure decrite dans la section 93.6.14.1 

_ . . , delanorme, 
15 •Si I'EE est une commande IndexedValueReplacement, alors : 

• decodlnfo est { nodelD , inID, node=GetNodeFromID(nodeID),field=F 
node.field[node.in2all[inID]] } ; 

• presStruct est un objet facilement interpretable qui decrit la commande 
telle qu'elle est definie dans la position replacePosition et la structure 

20 decrite dans la section 9.3 .6. 14.1. 

• Si TEE est une commande SceneReplace, alors : 

• decodlnfo est vide { } 

• presStruct est un objet facilement interpretable qui decrit la commande 
telle qu'elle est definie dans la structure decrite dans la section 9.3.7.1. 1 

25 • Dans tous les autres cas, I'entite encodee EE n*est pas decodee par 
anticipation. 

Ces exemples d'Entites Encodees necessitant des ressources de decodage et 
d' interpretation importantes, ils beneficient particulierement des avantages de 
rinvention. 
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L'inveiition permet done d'optimiser le decodage du flux re9u, et presente 
de nombreux avantages. 

Tout d'abord, I'invention permet d'optimiser le processus de decodage sans 
introduire de besoins en memoire supplementaire importants par rapport aux 
techniques de Tart anterieun En effet, selon Tinvention, seuls deux processus de 
decodage doivent etre lances en parallele. L'un des processus est synchrone avec 
I'horloge servant a la restitution du signal, Tautre processus (dit d'anticipation) 
fonctionne de maniere asynchrone, L' increment de memoire suscite selon 
Tinvention par rapport aux techniques de Tart anterieur est inferieur a la taille d*un 
processus de decodage unique car ces deux processus partagent les memes 
memoires tampons. 

En outre, la technique de Tinvention ne peut induire des decodages 
supplementaires superflus que si T anticipation du decodage induit une erreur de 
decodage. Cette erreur de decodage peut etre aisement maitrisee, car il suffit au 
decodeur du processus synchrone de comparer les parametres de debut de 
decodage avec ceux du decodeur qui assure T anticipation. 

La technique de Tinvention permet egalement d'utiliser de fa^on optimale les 
ressources de calcul des plates-formes "multi-threadees" (i.e., celles qui 
permettent de lancer plusieurs taches logicielles en parallele). Ceci est essentiel 
lorsqu'on traite des signaux graphiques tout en repondant a des contraintes de 
fluidite. 

Enfin, la technique de Tinvention est parfaitement compatible avec les 
techniques classiques de decodage. En effet, le fait d'utiliser un decodeur 
supplementaire, qui assure une anticipation du decodage, assure une grande 
flexibilite de scenario d'utilisation et uiie compatibilite avec le decodage classique 
des signaux connu de Tart anterieur. 
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REVENDICATIONS 

L Procede de restitution, sur au moins un terminal client, d'au moins-un 

flux de donnees comprenant une pluralite d'entites encodees, associees chacune 
a au moins une estampille temporelle de composition, ledit procede 
comprenant des etapes de : 

decodage dudit ou desdits flux, de fa?on a obtenir au moins un flux decode 

comprenant une pluralite d'entites decodees ; 

composition desdites entites decodees, aux instants definis par lesdites 

estampilles temporelles de composition , 
caracterise en ce que, pour Tune au moins desdites entites encodees, ladite 
etape de decodage est anticipee par rapport a ladite estampille temporelle de 
composition, si un contexte de composition associe a ladite entite encodee 
verifie au moins un critere predetermine- 

2. Procede de restitution selon la revendication 1 , caracterise en ce qu'il 
met en oeuvre une etape de comparaison d'un contexte de composition courant 
et dudit contexte de composition associe a ladite entite encodee, et en ce que 
ladite etape de decodage est anticipee lorsque ladite comparaison est positive, 

3. Procede de restitution selon Tune quelconque des revendications 1 et 

2, caracterise en ce que lesdites entites decodees par anticipation sont 
memorisees par ledit terminal client jusqu'a ladite etape de composition. 

4. Procede de restitution selon la revendication 2, caracterise en ce qu'en 
cas de comparaison negative, ladite entite encodee est memorisee dans ledit 
terminal client, et en ce que ladite etape de decodage est mise en oeuvre audit 
instant defini par ladite estampille temporelle de composition associee. 

5. Procede de restitution selon Tune quelconque des revendications 2 et 

3, caracterise en ce que, pour au moins certaines desdites entites decodees par 
anticipation, il reitere ladite etape de comparaison, prealablement a ladite etape 
de composition, et en ce que ladite etape de composition est mise en oeuvre 
lorsque ladite deuxieme comparaison est positive. 
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6. Precede de restitution selon la revendication 5, caracterise en ce que, 
lorsque ladite deuxieme comparaison est negative, ledit precede met en oeuvre 
une etape de gestion d'erreurs. 

7. Procede de restitution selon Tune quelconque des revendications 1 a 6, 
caracterise en ce qu'une information d'ordre de decodage est en outre associee a 
au moins certaines desdites entites encod^es. 

8. Procede de restitution selon la revendication 7, caracterise en ce que 
ladite information d'ordre de decodage est une estampille temporelle de 
decodage. 

9. Procede de restitution selon Tune quelconque des revendications 1 a 8, 
caracterise en ce que ledit flux de donnees appartient au groupe comprenant : 

les flux video ; 

les flux de description d*une sc^ne graphique a au moins deux 
dimensions ; 
les flux audio ; 

les flux de description d'un objet a au moins deux dimensions ; 
les flux d'animation d'au moins un objet ; 
les flux de description de meta-donnees. 

10. Procede de restitution selon Tune quelconque des revendications 1 a 9, 
caracterise en ce que le format desdites entites encodees appartient au groupe 
comprenant : 

les formats de media MPEG ; 
les formats de description de donnees MPEG-7 ; 
les formats de description de scene BIFS ; 
les formats H26L. 

11. Dispositif de restitution d'au moins un flux de donnees comprenant 
ime pluralite d^ entites encodees, associees chacune a au moins une estampille 
temporelle de composition, ledit dispositif comprenant : 

des moyens de decodage dudit ou desdits flux, permettant d*obtenir au 
moins un flux decode comprenant une pluralite d'entites decodees ; 
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des moyens de composition desdites entites decodees, mis en oeuvre aux 
instants definis par lesdites estampilles temporelles de composition , 
caracterise en ce que, pour Tune au moins desdites entites encodees, lesdits 
moyens de decodage sont actives prealablement a ladite estampille temporelle 
de composition, si un contexte de composition associe a ladite entite encodee 
verifie au moins un critere predeteraiine. 

12. Dispositif de restitution seion la revendication 1 1 , caracterise en ce 
qu'il comprend en outre : 

une memoire tampon de decodage, dans laquelle lesdites entites encodees 

sont stockees en ordre croissant de decodage ; 

une memoire tampon de composition, dans laquelle sont memorisees, 
lesdites entites decodees. > 
. 13. Dispositif selon la revendication 12, caracterise en ce que lesdites 

entites decodees sont memorisees dans ladite memoire tampon de composition 

en ordre croissant d'estampille temporelle de composition. 

14. Dispositif selon la revendication 12, caracterise en ce que lesdites 
entites decodees sont memorisees dans ladite memoire tampon de composition 
en ordre croissant de decodage. 

15. Systeme de transmission d'au moins un flux de donnees d'un serveur 
de donnees vers au moins un terminal client, 

ledit serveur comprenant des moyens de codage dudit flux de donnees, sous la 
forme d'une pluralite d'entites encodees, associees chacune a au moins une 
estampille temporelle de composition, 
ledit terminal client comprenant : 

des moyens de decodage dudit ou desdits flux, permettant d'obtenir au 
moins un flux decode comprenant une pluralite d'entites decodees ; 
des moyens de composition desdites entites decodees, mis en ceuvre aux 
instants definis par lesdites estampilles temporelles de composition , 
caracterise en ce que, pour Tune au moins desdites entites encodees, lesdits 
moyens de decodage sont actives prealablement a ladite estampille temporelle 
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de composition, si un contexte de composition associe a ladite entite encodee 
verifie au moins un critere predetermine. 

16. Signal representatif d'un flux de donnees destine a etre restitue par au 
moins un dispositif de restitution selon Tune quelconque des revendications 1 1 
et 14, ledit signal etant disponible en sortie desdits moyens de decodage et 
alimentant lesdits moyens de composition dudit dispositif, 
caracterise en ce qu'il comprend une pluralite d'entites dudit flux, comprenant 
chacune : 

une estampille temporelle de composition ; 

un marqueur isdecod, indiquant si ladite entite a ete decodee de maniere 
anticipee ; 

et en ce que, lorsque ledit marqueur isdecod prend une premiere valeur, ladite 
entite est sous forme encodee et, lorsque ledit marqueur isdecod prend une 
seconde valeur, ladite entite est sous forme decodee et comprend en outre : 

des informations, appelees presStruct, relatives a une structure de 

restitution de ladite entite ; 

des informations, appelees decodlnfo^ relatives au decodage de ladite 
entite. 
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